修剪是压缩深神经网络(DNNS)的主要方法之一。最近,将核(可证明的数据汇总)用于修剪DNN,并增加了理论保证在压缩率和近似误差之间的权衡方面的优势。但是,该域中的核心是数据依赖性的,要么是在模型的权重和输入的限制性假设下生成的。在实际情况下,这种假设很少得到满足,从而限制了核心的适用性。为此,我们建议一个新颖而健壮的框架,用于计算模型权重的轻度假设,而没有对训练数据的任何假设。这个想法是计算每个层中每个神经元相对于以下层的输出的重要性。这是通过l \“ {o} wner椭圆形和caratheodory定理的组合来实现的。我们的方法同时依赖数据独立,适用于各种网络和数据集(由于简化的假设),以及在理论上支持的。方法的表现优于基于核心的现有神经修剪方法在广泛的网络和数据集上。例如,我们的方法在Imagenet上获得了$ 62 \%$的压缩率,ImageNet上的RESNET50的准确性下降了$ 1.09 \%$。
translated by 谷歌翻译